尽管深层模型在医学图像分割中表现出了有希望的性能，但它们在很大程度上依赖大量宣布的数据，这很难访问，尤其是在临床实践中。另一方面，高准确的深层模型通常有大型模型尺寸，从而限制了它们在实际情况下的工作。在这项工作中，我们提出了一个新颖的不对称联合教师框架ACT-NET，以减轻半监督知识蒸馏的昂贵注释和计算成本的负担。我们通过共同教师网络推进教师学习的学习，以通过交替的学生和教师角色来促进从大型模型到小模型的不对称知识蒸馏，从而获得了临床就业的微小但准确的模型。为了验证我们的行动网络的有效性，我们在实验中采用了ACDC数据集进行心脏子结构分段。广泛的实验结果表明，ACT-NET的表现优于其他知识蒸馏方法，并实现无损分割性能，参数少250倍。

有了大规模标记的数据集，深度学习在医学图像分割方面已取得了重大成功。但是，由于广泛的专业知识要求和昂贵的标签工作，在临床实践中获取大量注释是具有挑战性的。最近，对比学习表明，在未标记的数据上进行视觉表示学习的能力很强，在许多领域中实现了令人印象深刻的性能与监督的学习。在这项工作中，我们提出了一个新型的多尺度多视图全球对比度学习（MMGL）框架，以彻底探索不同尺度的全球和局部特征，并观察到可靠的对比度学习表现，从而通过有限的注释来改善细分性能。在MM-WHS数据集上进行的广泛实验证明了MMGL框架对半监视的心脏图像分割的有效性，从而超过了最先进的对比度学习方法，这是通过较大的余量。

关于图像数据的多标签学习已通过深度学习模型广泛利用。但是，对深CNN模型的监督培训通常无法发现足够的判别特征进行分类。结果，提出了许多自学方法来学习更多可靠的图像表示。但是，大多数自我监督的方法都集中在单个标签数据上，并缺乏具有多个对象的更复杂的图像。因此，我们提出了一种对象感知的自学方法（OASS）方法，以获取多标签学习的更细粒度表示，并根据对象位置动态生成辅助任务。其次，可以利用OAS学到的强大表示形式，以无提案方式有效地生成特定于类的实例（CSI），以更好地指导多标签监督信号传递到实例。对多标签分类的VOC2012数据集进行了广泛的实验，证明了该方法针对最先进的对应物的有效性。

There has been a great deal of recent interest in learning and approximation of functions that can be expressed as expectations of a given nonlinearity with respect to its random internal parameters. Examples of such representations include "infinitely wide" neural nets, where the underlying nonlinearity is given by the activation function of an individual neuron. In this paper, we bring this perspective to function representation by neural stochastic differential equations (SDEs). A neural SDE is an It\^o diffusion process whose drift and diffusion matrix are elements of some parametric families. We show that the ability of a neural SDE to realize nonlinear functions of its initial condition can be related to the problem of optimally steering a certain deterministic dynamical system between two given points in finite time. This auxiliary system is obtained by formally replacing the Brownian motion in the SDE by a deterministic control input. We derive upper and lower bounds on the minimum control effort needed to accomplish this steering; these bounds may be of independent interest in the context of motion planning and deterministic optimal control.

Many scientific domains gather sufficient labels to train machine algorithms through human-in-the-loop techniques provided by the Zooniverse.org citizen science platform. As the range of projects, task types and data rates increase, acceleration of model training is of paramount concern to focus volunteer effort where most needed. The application of Transfer Learning (TL) between Zooniverse projects holds promise as a solution. However, understanding the effectiveness of TL approaches that pretrain on large-scale generic image sets vs. images with similar characteristics possibly from similar tasks is an open challenge. We apply a generative segmentation model on two Zooniverse project-based data sets: (1) to identify fat droplets in liver cells (FatChecker; FC) and (2) the identification of kelp beds in satellite images (Floating Forests; FF) through transfer learning from the first project. We compare and contrast its performance with a TL model based on the COCO image set, and subsequently with baseline counterparts. We find that both the FC and COCO TL models perform better than the baseline cases when using >75% of the original training sample size. The COCO-based TL model generally performs better than the FC-based one, likely due to its generalized features. Our investigations provide important insights into usage of TL approaches on multi-domain data hosted across different Zooniverse projects, enabling future projects to accelerate task completion.

在软件开发过程中，开发人员需要回答有关代码语义方面的查询。即使已经用神经方法进行了广泛的自然语言研究，但尚未探索使用神经网络对代码回答语义查询的问题。这主要是因为没有现有的数据集，具有提取性问答和答案对，涉及复杂概念和较长推理的代码。我们通过构建一个名为Codequeries的新的，策划的数据集并提出了一种关于代码的神经问题方法来弥合这一差距。我们基于最先进的预训练的代码模型，以预测答案和支持事实跨度。给定查询和代码，只有一些代码可能与回答查询有关。我们首先在理想的环境下进行实验，其中仅给出了模型的相关代码，并表明我们的模型做得很好。然后，我们在三个务实的考虑因素下进行实验：（1）扩展到大尺寸的代码，（2）从有限数量的示例中学习，（3）代码中对次要语法错误的鲁棒性。我们的结果表明，虽然神经模型可以抵御代码中的次要语法错误，代码的大小增加，与查询无关的代码的存在以及减少的培训示例数量限制了模型性能。我们正在释放数据和模型，以促进未来关于回答代码语义查询的问题的工作。

紧固件在确保机械的各个部位方面起着至关重要的作用。紧固件表面的凹痕，裂缝和划痕等变形是由材料特性和生产过程中设备的错误处理引起的。结果，需要质量控制以确保安全可靠的操作。现有的缺陷检查方法依赖于手动检查，该检查消耗了大量时间，金钱和其他资源；同样，由于人为错误，无法保证准确性。自动缺陷检测系统已证明对缺陷分析的手动检查技术有影响。但是，诸如卷积神经网络（CNN）和基于深度学习的方法之类的计算技术是进化方法。通过仔细选择设计参数值，可以实现CNN的全部电势。使用基于Taguchi的实验和分析设计，已经尝试在本研究中开发强大的自动系统。用于训练系统的数据集是为具有两个标记类别的M14尺寸螺母手动创建的：有缺陷且无缺陷。数据集中共有264张图像。所提出的顺序CNN的验证精度为96.3％，在0.001学习率下的验证损失为0.277。

最近已经提出了压缩的随机梯度下降（SGD）算法，以解决分布式和分散的优化问题（例如在联合机器学习中出现的问题）中的通信瓶颈。现有的压缩SGD算法假定使用非自适应的阶梯尺寸（恒定或减小）来提供理论收敛保证。通常，在实践中对数据集和学习算法进行微调，以提供良好的经验性能。在许多学习方案中，这种微调可能是不切实际的，因此，使用自适应阶梯尺寸研究压缩SGD是很感兴趣的。由SGD在未压缩环境中有效训练神经网络的自适应阶梯尺寸方法的先前工作的激励，我们为压缩SGD开发了一种自适应阶梯尺寸方法。特别是，我们在压缩SGD中引入了一种缩放技术，我们用来在插值条件下为凸 - 平滑和强凸 - 平滑目标建立订单 - 最佳收敛速率，并在强烈的增长下为健康）状况。我们还通过仿真示例显示，如果没有这种缩放，算法就无法收敛。我们介绍了现实世界数据集的深神经网络的实验结果，并将我们提出的算法的性能与先前提出的文献压缩SGD方法进行比较，并在Resnet-18，Resnet-34和Densenet架构上的CIFAR-100架构上的性能提高了和CIFAR-10数据集的各种压缩级别。

搜索和检索仍然是多个领域的主要研究主题，包括计算机图形，计算机视觉，工程设计等。搜索引擎主要需要输入搜索查询和要搜索的项目数据库。在本文的主要背景工程中，数据库由3D CAD模型组成，例如垫圈，活塞，连杆等。用户的查询通常以草图的形式，试图捕获该草图3D模型的详细信息。但是，草图具有某些典型的缺陷，例如间隙，过度划分的部分（多冲程）等。由于检索到的结果仅与输入查询一样好，因此草图需要清理和增强，以更好地检索结果。在本文中，提出了一种深度学习方法来改进或清洁查询草图。最初，分析了来自各个类别的草图，以了解可能发生的许多可能的缺陷。然后根据对这些缺陷的理解创建清理或增强查询草图的数据集。因此，进行了深神网络的端到端培训，以提供有缺陷和干净的草图之间的映射。该网络将有缺陷的查询草图作为输入，并生成清洁或增强的查询草图。拟议方法与其他最新技术的定性和定量比较表明，所提出的方法是有效的。搜索引擎的结果是使用缺陷和增强查询草图报告的，并且显示出使用来自开发方法的增强查询草图可以改善搜索结果。

我们研究了分布外（OOD）检测的问题，也就是说，检测学习算法的输出是否可以在推理时间得到信任。尽管已经在先前的工作中提出了许多OOD检测的测试，但缺乏研究此问题的正式框架。我们提出了一个关于OOD概念的定义，其中包括输入分布和学习算法，该算法为构建强大的OOD检测测试提供了见解。我们提出了一个多个假设测试的启发程序，以系统地结合学习算法的任何数量的不同统计数据，使用保形p值。我们进一步为将分配样本分类为OOD的概率提供了强有力的保证。在我们的实验中，我们发现在先前工作中提出的基于阈值的测试在特定的设置中表现良好，但在不同类型的OOD实例中并不均匀。相比之下，我们提出的方法结合了多个统计数据在不同的数据集和神经网络中表现出色。